
PIT ORGANISATION MONDIALE DE LA PROPRIETE INTELLECTUELLE 

X V M. Bureau international 

DEMANDE INTERNATIONALE PUBLIEE EN VERTU DU TRAJTE DE COOPERATION EN MATTERE DE BREVETS (PCI) 



(51) Classification Internationale des brevets 5 : 
H04N 7/01, 5/44 



Al 



(11) Numero de publication internafioiiale: WQ 93/00773 
(43) Date de publication Internationale : 7 janvier 1993 (07.01 .93) 



(21) Numero de la demande Internationale: PCT/FR92/00592 

(22) Date de depot international: 26 join 1992(26.06.92) 



(30) Donnees relatives a la priori te: 

91/08005 27 juin 1991 (27.06.91) FR 



(71) Deposant (pour tous les Etats designes saufUS): THOMSON 

CONSUMER ELECTRONICS [FR/FR]; 9, place des 
Vosges, La Defense 5, F-92400 Courbevoie (FR). 

(72) Inventeurs;et 

(75) Inyentenrs/Beposants (US settlement) : GUILLOTEL, Phi- 
lippe [FR/FR]; CHUPEAU, Bertrand [FR/FR]; Thomp- 
son-CSF SCPI, F-92045 Paris-La Defense Cede* 67 
(FR). 

(74)Mandataire: RUELLAN, Brigitte; Thomson-CSF S.C.P.I., 
F-92045 Paris-La Defense Cedex 67 (FR). 



(81) Etats designes: JP, KR, US, brevet europeen (AT, BE, CH, 
DE, DK, ES, FR, GB, GR, IT, LU, MC, NL, SE). 



PubHee 

Avec rapport de recherche Internationale. 



(54) Title: METHOD FOR CONVERTING THE TIMING OF A SEQUENCE OF MOTION IMAGES 
(54) litre: PROCEDE DE CONVERSION DU RYTHME TEMPOREL EVUNE SEQUENCE DAMAGES ANIMEES 
(57) Abstract 

A method for converting the timing of a sequence of motion im- 
ages in order to transform frame frequency F into frame frequency f, so 
that f=(N/N0F. The method comprises generating 2N successive pic- 
tures t 2Nk+ 1 to t2Nk+2N' fr° m ?N' known successive images T2ntc+ i to 
T 2N'k+2N'» wherein the pixels of the odd-numbered images are de- 
fined at least by their luminance value while at least the pixels of the 
•even-numbered images are defined at least by their luminance value — 
and a motion vector; and determining the images t 2 Nfc+i to be gen- 
erated by copying (L{) from known image T2N'k+ r» determining im- 
ages tjNic+N reversing the de-interlacing (1) the known image 
T2N*k+N' ^ preserving (2) every other line, and determining remain- 
ing 2N-2 images by motion-compensated time interpolation from the 
known images. The method is useful particularly for frequency dou- 
bling in HD-MAC. 

(57)Abrege 




La presente invention concerne un procede de conversion du rythme temporel d'une sequence d'images animees permet- 
tant de transformer une frequence trame F en une frequence trame f, telle que: f » (N/N')F. Ce procede consiste a generer a par- 
tir de 2N' images successives connues T2NIC+1 a T 2 N / k+2 N'» 2N images successives t 2NJc+I a t 2N fc+ 2 N'» ,es pixels des images 
impaires etant deflnis par au moins leur valeur de luminance tandis qu'au moins les pixels des images paires sont definis 
par au moins leur valeur de luminance et un vecteur-mouvement et comporte la determination des images t 2 Nk+ 1 a generer 
par recopie (Lj) de l'image connue T 2N ' k+ y la determination des images t 2 Nk+N par desentrelacement (1) de l'image connue 
TzN'k+N' et conservation (2) d'une ligne sur deux et la determination des 2N-2 images restantes par interpolation temporelle 
compensee en mouvement a partir des images connues. Application notamment au doublement de frequence dans le cadre 
dela HD-MAC. 
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PROCEDE DE CONVERSION DU RYTHME TEMPOREL 
D'UNE SEQUENCE D* IMAGES ANIMEES 

La pr^sente invention concerne un procede de conversion du 
rythme tempore! cT tine sequence d' images animees, en particulier 
d'une sequence d* images de television. 

Actuellement, les images de t616vision sont transmises, 
suivant les standards, a une frequence- trame de 50Hz ou 60Hz. Ces 
frequences-trame ont pour inconvenient de cr6er tin phenomene de 
papillottement, nbtamment dans les zones de tres fortes 
luminosites. Ce phenomene est dVautant plus genant visuellement 
que l'ecran est grand. Or depuis plusieurs annees, on cherche a 
ameliorer la qualite des images de television en 61iminant le 
maximum de phenomenes parasites. Ainsi, pour remedier au 
papillottement, on a propose, dans le standard 50Hz, de doubler 
la frequence-trame, c'est-^-dire de realiser une conversion 50Hz 
en 100Hz. II existe actuellement plusieurs procedes permettant de 
realiser cette conversion. Parmi ces procedes, on peut citer les 
procedes par repetition de trames de type AABB ou ABAB. Ces 
procedes sont decrits, par exemple, dans V article intitule "Scan 
Rate up Conversions using adaptative weighted median filtering" 
de P. Haavisto, J.Juhola et Y.Neuvo paru dans le 3rd 
International Workshop on HDTV 1989 Torino. Ce type de procede 
introduit peu de d£fauts spatialement mais presente un effet de 
saccades d'autant pilus visible que le mouvement est rapide. II 
est aussi connu d'utiliser des f litres lineal res spatiaux, 
temporels ou spatio-temporels. Ce type de filtre est decrit, 
notamment, dans I 1 article intitule "Interpolating Interlaced 
Television Pictures" de D.M. Ackroyd et M.Weston dans le 2nd 
International Workshop on Signal Processing of HDTV 1988, 
l'Aquila (Italie). Ces f litres permettent 1'obtention d'un 
meilleur compromis entre la complexity de mise en oeuvre et la 
qualite du resultat. Cependant, les f litres introduisent une 
perte de definition dans 1* image. 

Les techniques ci-dessus sont simples a mettre en oeuvre. 
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Toutefois, elles ne resolvent que part iellement le probldme du 
papillottement et presentent des defauts tels qu'un effet de 
saccades et/ou une perte de definition, d'autant plus visibles 
que le mouvement est rapide* Pour remidier a ces probl ernes, 
notamment dans le cadre de la television Haute Definition, on a 
mis en oeuvre des techniques d' interpolation compensee en 
mouvement. Un exemple de ces . techniques est decrit, en 
particulier* dans 1* article intitule "HDTV Standards Conversion" 
de Thomas Reuter, IEEE-ASSP & Eurasip, Semes Seminaire sur le 
« Traitement de signaux multidimensionnels, 1987, Nordwijkerhout 
CPays-Bas). Ces techniques, ameliorent nettement les resultats et 
permettent I'obtention d' images de tres bonne qualite lorsque le 
mouvement d£tecte est exact. Toutefois, ces techniques sont tres 
complexes, surtout lorsque 1'on veut obtenir des resultats les 
plus exacts possibles. 

La presente invention a done pour but de proposer un nouveau 
procede de conversion du rythme temporel d'une sequence d' images 
animees qui permette d' obtenir une bonne qualite d' images tout en 
etant d'une mise en oeuvre relativement simple et peu coilteuse. 

La presente invention a aussi pour but de proposer un 
nouveau procede de conversion du rythme temporel d'une sequence 
d* images animees qui soit particulierement facile a mettre en 
oeuvre dans le cadre du HD-MAC. 

La presente invention a encore pour but de proposer un 
nouveau procede de conversion du rythme temporel d'une image qui 
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peiit etre utilise pour toute conversion d'une frequence trame F 

N 

en une frequence trame f telle que : f = -p F. 

En consequence, la presente invention a pour objet un 
procede de conversion du rythme temporel d'une sequence d' images 
animees permettant de transformer une frequence trame F en une 
50 frequence trame f telle que : f = -jp F, le procede consistant a 

generer a partir de 2N' images successives connues ^N'k+l' 
T 2N'k + 2"-- T 2N'k + 2N' ™ imageS ^«ssives t^^, t^^, 

W3' l 2Nk + 2N' ' 165 piX6lS deS imageS impairS T 2N'k + l • 

T 2N'k+3 6tant d6 finis par au moins leur valeur de luminance 
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tandis qu* au moins les pixels des images paires T 2N'k+2 
T 2N'k+4 ' . softt definis par au moins leur valeur de 

luminance et un vecteur-mouvement, caracterise par les e tapes 
suivantes : 

1° - determination des images t 2Nk+J & generer par recopie de 
5 1* image connue T^'k+l ; 

2- - determination des images k generer par 

desentrelacement de V image connue T^,^, et conservation 
d'une ligne sur deux ; 

3° - determination des 2N-2 images restantes par interpolation 
10 temporelle cbmpensee en mouvement a partir des images connues. 

Ce prpcede de conversion du rythme temporel d'une sequence 
d' images anim6es, qui peut §tre mis en oeuvre a chaque fois que 
l'on doit transformer une frequence trame F en une frequence 
trame f est particulierement adapte au cadre du HD-MAC, car dans 
15 ce cas les vecteurs-mouvement sont transmis par 1* intermediate 

de la voie d' assistance nura§rique ou DATV, au moins pour les 
modes 40ms et 20ms. 

Ce procSde peut s'appliquer a des transformations de 
frequence trame, telles qu'une conversion 50Hz en 60Hz ou 50Hz en 
20 100Hz. 

Selon un mode de realisation pr§ferentiel, le 
desentrelacement de- 1 9 image T 2 N'k+N' est r6alis ® 4 l'aide d'un 
f litre spat io- temporel qui est, de preference, oriente selon le 
vecteur-mouvement associe au pixel traite. 
25 D' autre part, selon un mode de realisation pref6rentiel, 

1* interpolation compensee en mouvement des images t^„ ^. t_ 

2Nk+2' 2Nk+3* 

^Nk+N-l' t 2Nk+N+r l 2Nk+2N est r6alis§e P ar 

reassignation, a chaque bloc de pxp (p £ 1) pixels d'une image a 

interpoler, du vecteur mouvement associe au bloc de 1' image pa ire 

30 connue T 2 N'k+2 de coordonn ® es spatiales voisines, le vecteur- 

mouvement presentant une amplitude egale au rapport des distances 

inter-images considerees, et par affectation a chaque pixel d'une 

valeur de luminance obtenue par moyennage des valeurs de 

luminance des points des images connues considerees obtenues par 
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interpolation symStrique compensee en mouvement. 

Selon une autre caract&ristique de la presente invention, 
les valeurs de chrominance des pixels des images successives 
correspondant a des instants t^+i'-*" ^ZUk^ZU sont obtenues eI * 
realisant une repetition des images consid6rees connues de type 
5 AABB. 

Selon une autre caracteristique, les valeurs de chrominance 
des pixels des images successives correspondant a des instants 
t i» •••» ^mv ?m sont calcul ®es en utilisant le meme procede 
* que le proc§de de calcul des valeurs de luminance. 
10 D* autre part, selon une caractiristique supplementaire de la 

presente invention, dans le cas d* images animees constitutes par 
des images television de type HD-MAC, les images paires de la 
voie 80ms sont affectees d'un champ de vecteurs-mouvement nuls. 

D' autres caracteristiques et avantages de la presente 
15 invention apparaitront a la lecture de la description d'un mode 

de realisation prtferentiel, faite avec reference aux dessins 
ci-annexes dans lesquels : 

- la figure 1 est une representation schematique temporelle d'une 
sequence d* images d f entree a la frequence 50Hz et d'une sequence 

20 images de sortie a une frequence de 100Hz obtenues selon le 

procede de la presente invention ; 

- la figure 2 est me representation schematique expliquant le 
fonctionnement d'un f litre spatio-temporel utilise dans une etape 
du procede de la presente invention ; 

25 - ia figure 3 est une representation schematique illustrant la 

reconstruction d' images selon la troisieme etape du procede de la 
presente invention ; 

- la figure 4 est un schema synoptique des differentes etapes du 
procede dans le cas d'un doublement de frequence, et 

30 _ la figure 5 est une representation schematique temporelle d'une 

sequence d* images d' entree & la frequence 50Hz et d'une sequence 
d' images de sortie a une frequence 60Hz obtenues selon le procede 
de la presente invention. 

Dans un premier temps, la presente invention sera decrite en 
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se ref erant i une conversion de la frequence- trame de 50Hz & 

100 Hz dans le cadre d'une application HD-MAC. Toutefois, il est 

Evident pour I'homme de Fart que la pr^sente invention peut 

s'appliquer k une conversion du rythme temporel d*une frequence F 

N 

& une frequence f, telle que : f = F. D* autre part, le 

5 procSde de la presente invention peut etre utilise dans d'autres 

applications que le HD-MAC. De plus, dans la description, on 
emploii* indiff£remment le mot "trame* ou "image". 

Cknfonniment au probldme pose dans le cadre de la presente 
* invention, on cherche a partir de trames T^ f T 2> transmises k 
10 une frequence-trame de 50Hz a reconstruire quatre trames t,. , t-, 

^3*^4 * une frequence de 100Hz. En fait, dans le cadre d'un 
signal du type HD-MAC, notamment au niveau du decodeur HD-MAC, 
l'on possede outre des informations sur les valeurs de luminance 
et de chrominance des pixels P d'autres informations telles que 
15 des vecteurs-mouvement transmis par la voie d' assistance 

numerique (DATV) pour les modes 40ms et 20ms. De maniere connue, 
ces vecteurs-mouvement sont, dans le cadre de cette application 
particuliere, de precision entiere, d* amplitude limitee a plus ou 
moins 14 pixels en vertical et plus ou moins 31 pixels en 
20 horizontal et sont calcules pour des blocs de 16 x 16 pixels par 

image pour les modes 20ms et 40ms. Ces vecteurs-mouvement peuvent 
etre obtenus, par exemple, a Taide d'un estimateur de mouvement 
de type bloc-recursif-hierarchique tel que ddcrit dans la demande 
de brevet fran<?ais N°89 11328 deposee le 29 Aofct 1989 au nom de 
25 Thomson Consumer Electronics et ayant pour titre "Proced§ et 

dispositif d v estimation et de codage hierarchise du mouvement de 
sequences d' images". Pour une description plus detaillee du 
codage et du decodage en HD-MAC, on peut se referer, par exemple, 
a 1* article intitule "HD-MAC Coding for Mac compatible Broad 
Casting HDTV signals" de IR.F.W.P. Vreeswijk et M.R. Haghiri paru 
dans le 3rd International Workshop on HDTV, 1989 Torino (Italie). 
Ainsi, dans le cadre notamment d , un signal HD-MAC, pour 
construire des trames a une frequence double, & savoir les 
trames t Jf t^, t^, t 4 ou de maniere plus generale les trames 
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t t ..... t„„, a partir de trames Z,.,,.^, , 

2Nk+l' 2N1C+2* 2Nk+2N ■ 2N'k+l' 

T 2N*k+2 v •■**'• * savoir T l» T 2* et T 3 •• • ° n ut f lise pour les 
" trame T. et les valeurs de luminance et de chrominance des 

pixels P representes par des croix sur la figure 1 et pour la 

trame outre les valeurs de luminance et de chrominance des 

pixels P t un champ de vecteiirs-mouvement es times symetriquement 

et representes par les vecteurs +V et,-V sur la figure 1. 

Conform§ment i la pr6sente invention, les trames tj, t 2 tt 3* *4 f 4 

une fr6quence-trame double de la f requence-trame de depart sont 

* obtenues en realisant les § tapes suivantes : on effectue, pour 

obtenir les pixels PI de la trame t 1 representes par un cercle, 

une recopie de la trame T^; pour obtienir les pixels P2 de la 

trame t -un desentrelacement de la trame TL et une conservation 

3 ^ 
des lignes impaires crees, et pour obtenir les pixels P3 des 

trames t 2 et t 4 , une creation de ces pixels en utilisant une 

!5 interpolation temporelle corapens§e en mouvement. 

On d§crira ci-apres, de maniere plus detaillee, l'etape de 

desentrelacement de la trame T 2 dormant la trame t 3 et l'etape de 

creation des trames et t 4> la recopie etant r6alisee 

facilement en utilisant une simple memoire d* image. 

20 Pour realiser, le desentrelacement de la trame T2, on 

utilise de preference un filtre spatio-temporel. Dans le cadre de 

la presente invention, ce filtre travaille sur trois trames 

telles que T ia T 2 , T r puis T 3 , T 4> Tg, etc., comme represente 

sur la figure 2. B* autre part, pour ameliorer le resultat, le 

25 filtre sera oriente dans le sens du mouvement. Ainsi, comme 

represente sur la figure 2, pour obtenir le pixel P2 appartenant 

a la trame t 3> on utilise quatre pixels sur la trame T 2 et trois 

pixels sur les trames T % et T 3 - De maniere plus specifique, on 

prend sur la trame T 2 les quatre pixels P, encadrant le pixel P2, 

avec la meme abscisse, ces pixels etant affectes, par exemple.d' 

un coefficient 15 pour les deux premiers pixels et d'un 

coefficient 1 pour les deux autres pixels plus eloignes. Les 

pixels des trames et T 3 sont affectes de coefficients -3, 6, 

-3. Toutefois, selon un mode de realisation pr§ferentiel de la 
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presente invention, au lieu d'utiliser, sur les trames T. et T , 

1 3 

le pixel P* de memes coordonnees spatiales que le pixel P2 a 

construire, on utilise le pixel P' 1 le plus voisin de l*extr6mite 

du vecteur-moiivemerit +V affects au pixel P* de la trame T ou -V 

3 

affecte au pixel P* de la trame Tj. Ce pixel P* 1 est affects d'un 
coefficient 6 et les deux pixels P' 1 1'entourant sont affect6s 
d'un coefficient -3, comme represents sur la figure 2. Ceci 
permet d'obtenir pour la trame t 3 et les trames equivalentes 
t 2Nk+N des valeurs de luminance les plus exactes possibles. Ce 
traitement de desentrelaceraents est realise pour les trames t^, 

tj, etc dans le cas d'une conversion de 50Hz en 100Hz ou de 

maniere plus generale pour toutes les trames se produisant aux 
instants t2Nk+N en utiiisant 1' image connue se produisant aux 
instants T 2N . k+N , . 

On decrira maintenant. en se referant a la figure 3, un mode 
de realisation de la construction des trames t 2 et t^ k partir 
des trames Tj, T 2 * T 3' ^ cr6ation de c . es trames t 2 et t^ est 
realis^e en utilisant une interpolation compensee en mouvement. 
Pour ce faire, il est necessaire d'obtenir, outre une valeur de 
luminance, un vecteur-mouvement pour les pixels des trames t^ et 
t 4 tels que le point reference X^ sur la figure 3, sachant que 
l'on dispose d'un champ de vecteurs-mouvement par blocs de 16 x 
16 pixels pour la trame T^, ce champ etant estime symetriquement 
a partir des trames Tj, T 2> T^Conformement & la presente 
invention, on utilise une reassignation des vecteurs-mouvement et 
non une projection des vecteurs-mouvement de la trame sur la 
trame t^ ou t^, technique generalement employee dans 
.1* interpolation compensee en mouvement de type classique. Une 
reassignation des vecteurs- mouvement ne necessite aucune gestion 
des conf lits et des trous, ce qui simplif ie la technique 
d' interpolation. Dans le cadre de la presente invention, on 
considere que le vecteur-mouvement affecte au point X. . de la 
trame t^ ou de la trame t^ est constitue par un des n x n 
vecteurs-mouvement entourant le pixel X^ de la trame T2 de 
memes coordonnees spatiales que les points X^j des trames t^ et 
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t^Comme represente sur la figure 3, on prend pour n une valeur 3 
et 1'on salt d* autre part que chaque bloc de 16 x 16 pixels est 
affects d*un vecteur-mouvement. Eh consequence „ le vecteurr 
mouvement affects au point X^ des trames t 2 ou t^ est choisi 
par-mi I'uri des 9 vecteurs-mouvement de la trame T 2 references 1, 
2, 3, 4, 5. 6, 7/8, 9 sur la figure 3. Le vecteur-mouvement 
choisi est, en fait, celui qui minimise la DFD, a savoir la 
difference inter- images compens6e en mouvement entre les trames 
T et T 2 pour la trame t 2 et les trames T 2 et pour la trame 
* t Toutefois, dans le cas d'objets en mouvement, le critere de 
la DFD minimale n'est pas un critere suffisant, notamment au 
niveau des contours a cause du recouvrement de ces objets. En 
consequence, conformement a la presente invention, tous les 
vecteurs-mouvement dont la DFD est voisine a un seuil pres sont 
conserves, a savoir : n vecteurs, et la valeur X^j du point 
15 considere correspond a la moyenne de tous les points obtenus par 

interpolation symetrique compensee en mouvement, soit : 

X ij (t k } le p0lnt recherch§ et X ij (T k ) les P 0 ^ 21 source, les 
valeurs de X ± j Ct fe ) sont donnees par' les equations ci-apres : 



10 



20 



u^l [X.. (-Vu/2 9 T,) + X. .(Vu/2,T )]*l/2 

y rt J- U 1 y £ i * n * 9 

i j 2 n 



Y + * 

u=l [X. . C- Vu/2,T^) + X. .(711/2,1)1*1/2 

x (t )as hi 2 iJ ± — 1 rs n * 9 

25 X ij l V n 

Ces equations qui ont ete donnees dans le cas de la creation 

de quatre images a partir de deux images, peuvent etre 

generalisees au cas de la creation de 2N images a partir de 2N* 

images comme cela sera explique ci-apres dans le cas^d'une 

30 conversion 50Hz en 60Hz. Dans ces Equations X^ (Vu, T k > 

represente la valeur du pixel de coordonnees i, j deplace du 

vecteur Vu sur la trame Tk et n le nombre de vecteurs-mouvement 

dont la DFD est minimale au sens defini precedemment , c'est-a- 

dire dont la DFD comparee a la DFD minimale est inferieure a un 
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seuil, la DFD minimale 6tant la DFD la plus faible pour les 

vecteurs-mouvement consideres. Dans le cas d'une application 

HD-MAC, les vecteurs-mouvement Vu sont de precision entidre sur 

H > 

tine grille desentrelacee, done les vecteurs Vu/2 auront une 
precision de 0,5 pixel en horizontal et de 0,25 en vertical sur 
5 chaque trame paire & savoir les trames t_et t A D' autre part, les 

^ valeurs des points X. (Vu/,T.) sont obtenues par interpolation 

"*■'■* 5 "' ■ X j K 

. bilineaire, £ savoir, en utilisant la formule 
ci-apres : 

10 * (^,Tk)=[x i (l-dx)+X 2 dxj (1-dy) 

+ |x 3 (l-dx)+X 4 dxjdy 

X-, X 0 , X 0 , X. representant les pixels encadrant le point X. . 

15 deplace du vecteur Vu et dx, dy correspondant au deplacement 

entre ces pixels et le point X.^. 

On a decrit ci-dessus le traitement de la luminance dans le 
cadre du proc6de de conversion du rythme temporel d'une sequence 
animee conforme a la presente invention. Ce traitement de la 

20 luminance est realise plus particulierement pour un signal issu 

d'un decodeur HD-MAC et concerne, plus particulierement, les 
modes 20ms et 40ms pour lesquels l*on a, en plus des valeurs de 
luminance, au moins pour les trames paires un champ de vecteurs- 
mouvement fourni par la DATV. Pour le mode 80ms, on dispose des 

25 valeurs de luminance mais pas du vecteur-mouvement qui est mis a 

0. Pour le traitement de la chrominance, deux procedes, en 
particulier, peuvent etre envisages. Le premier procede consiste 
k effectuer une simple repetition de trame de type AABB. L' autre 
procede consiste a effectuer sur les valeurs de chrominance le 

30 meme traitement que celui effectue sur les valeurs de luminance 

aprSs selection des vecteurs-mouvement, la DFD etant calculee sur 
la luminance. Toutefois, cette technique necessite l'acces au 
pixel deplace X^ (Vu, Tk). Selon une variante de la presente 
invention, on peut done utiliser cette information de chrominance 
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pour calculer les DFD, ce qui donne dans ce cas : 
DFI^DFI)^ luminance + D FD U chrominance 

avec la DFD u representant une DFD minima le au sens defini ci- 
dessus. L* utilisation de cette nouvelle DFD u permet d'af finer la 
5 decision dans certains cas. Notamment dans le cas d'un objet qui 

se deplace devant un f orid de raeme valeur de luminance, seule la 
couleur, a savoir la valeur de chrominance, permet de prendre une 
decision correcte. 

Comme mentionne ci-dessus, la presente invention a ete 
10 decrite en se referant a un signal de type HD-MAC, plus 

particulierement a un signal en mode 20ms et 40ms. Pour les blocs 
de p x p pixels qui sont dans le mode 80ms. on utilise le meme 
traitement mais en affectant ces blocs d'un vecteur-mouvement 
mil. 

15 On peut aussi envisager, pour le traitement des blocs de 16 

x 16 pixels qui sont dans le mode 80ms r d'utiliser un traitement 
par repetition de trames de type AABB, ou ABAB. 

Les differentes e tapes decrites. ci-dessus peuvent etre mises 
en oeuvre selon le schema synoptique reprSsente a la figure 4. 

20 Dans le cas d'une conversion 50Hz en 100Hz, on stocke done dans 

des memoires telles que des memoires d' images ou similaires, au 
moins les valeurs de luminance de trois trames successives telles 
que T\, T- et pour la trame paire on stocke en plus les 

1 2 J 

vecteurs-mouvement associes. Comme represents par la ligne en 
25 tirete 1^, pour obtenir la trame t^ on recopie a 1* identique la 

trame Pour obtenir la trame t y la trame T 2 est envoyee sur 
un systeme 1 realisant un d£sentrelacement, e'est-a-dire une 
conversion entrelacee en progressive, puis dans un systeme 2 
realisant l f elimination des lignes paires. Pour obtenir la trame 
30 t on calcule en 3 les DFD^ pour les 9 vecteurs voisins en 



utilisant les informations issues de et de T 2 ainsi que les 
vecteurs-mouvement associes dont 1* amplitude est divis&e par 2 en 
4. Ce calcul permet d' obtenir un ensemble de vecteurs-mouvement 
pouvant etre affectes au pixel considere. En 5, on choisit le 
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25 



30 



et +V 1 sur la figure 5. De meme, pour les vecteurs-mouvement 
sont representes par +^ 2> pour T & par ^V 3> pour T Q par 

~V ^ et P° ur T io par ~^5' *V 

Conformement au procede de la presente invention, la trame 

t 1 est obtenue par recopie de la trame et la trame t 7 est 

obtenue par desentrelacement de la trame TV, avec conservation des 

o 

seules lignes paires. En ce qui concerne les trames ty t^, 

t 5» t 6* t 8 > t 9* t 10* t ll* ^12' elles sont obtenues par 
compensation de mouvement k 1'aide de deux trames adjacentes 
et du vecteur-mouvement correspondant d* amplitude egale au 
rapport des distances inter-trames. 

Ainsi, la trame t^ est obtenue en utilisant les trames Tj, 

T_, T- et un champ des vecteurs mouvement estimes symetriquement 

5 1 — > 

et representes par - ^-Vj et -g-Vj- De meme, pour la trame t 3 , on 

utilise toujours les trames , T 0 , T- mais des vecteurs- 

4 -5> 2 -> 12 3 

mouvement --g-Vj ©t -g-V^. Pour les trames et T 5 , on utilise 



vecteur-mouvement a affecter comme decrit ci-dessus puis en 6 on | 

calcule le pixel resultant. On realise des operations identiques I 

en 7, 8 et 9 pour obtenir la trame t.. En 7, on calcule les '1 

DFDjpour les 9 vecteurs voisins, en 8 on choisit parmi ces 9 f 

vecteurs ceux tels que DFD s s. oti S. est un seuil determine et I 

5 en 9 on calcule la valeur du pixel resultat en utilisant f 

1' equation donnee ci-dessus. Puis on recommence les memes | 

operations pour les trames 7^ T^ 9 T 5 de maniere k obtenir t g par | 

recopie de t_ par desentrelacement de T A et t. et t 0 par * 

♦ interpolation compensee en mouvement a partir de T^, T^, Tg. | 

10 On decrira maintenant avec reference k la figure 5, le cas f 

d'une conversion de frequence de 50Hz en 60Hz. Dans ce cas, le I 

N 6 *' 
rapport -^p = et l'on utilise 10 images ou trames k 50Hz pour 

obtenir 12 images ou trames a 60Hz. On part done des images T 9 

T 2> . T 1Q pour obtenir les images t^ t 2 t^. Pour les 

15 images T^, T^, T io* l on a outre les valeurs de luminance, 

un vecteur-mouvement V pour chaque bloc de n x n pixels d'une 

image. Ainsi, pour la trame T 0 , Ton possede un champ de " I 

vecteurs-mouvement estimes symetriquement et representes par -V, 
— ^ 1 
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les trames T^, T^, et des vecteurs-mouvement representes 

respectivement par - -|~vj et par - |-V^, Pour les 

trames t„ et t of on utilise les trames T_, TV, T_ et des 

vecteurs-mouvement representes repectivement par ~~g~*3» IT 3 

et Pour les trames t et t Q> on utilise les 

5 trames T ' T ot TV et des vecteurs mouvement representes 

7 8 9 - 3 3*^ 

respectivement par - g-V 4 , -g- V 4 et par - g-V^, -g-V 4 . Pour les 

trames t n et t^, on utilise les trames T gf T 1(Q et T u et des 

vecteurs-mouvement representes respectivement par "-g-Vg, -g-Vg 

et par - -jV s , -g- V^ 

10 Ainsi, de maniere generale, la valeur de luminance d'un 

pixel X i j d'une image tq .a interpoler a partir d*une image 
connue paire Tq' de coordonnees spatiales voisines et des deux 
images impaires Tq*-1 et Tq'+l i'encadrant est obtenue par 
1' equation suivante : 

15 1° - si 1' image tq se trouve entre les images Tq'-l et Tq* 

20 avec m ^ n x n et A etant fonction du rapport des distances 

inter-images ; 

2° - si 1* image tq se trouve entre les images Tq f et Tq 9 + 1 

X.j (tq) = £ X i (- t x fTqM + X tJ (t X Tq'+l)] 

25 — ~ "m 

avec m ^ n x n et A fonction du rapport des distances 
inter-images. 

II est done clair que les exemples donnes ci-dessus peuvent 
etre interpoles par I'homme de l'art pour realiser toutes 
conversions de frequence, telles que t = -jp h. 
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REVINDICATIONS 

1. Procede de conversion du rythme tempore 1 d'une sequence 
d' images animees permettant de tr$oisformer une frequence trame F 
en une frequence trame f, telle que : f a -jj F , le prbcecte 
consistant k generer a partir de 2N' images successives connues 
T 2N'k + r T 2N'k+2 • ^'k^N', 2 " im *& eS ^essives t^^ 

5 Wz' W3» - WaN' les pixels des images im P aires 

T 2N f k+l' T 2N'k+3 e tant definis par au mo ins leur valeur de 
luminance tandis qu'au moins les pixels des images paires T 2N'k+2 
• ^2N*k+4 ' * SOnt d ® finis P ar au aoins leur valeur de 

luminance et un vecteur-mouvement, caracterise par les etapes 
10 suivantes : 

1° - determination des images *2Nk+l * generer par recopie de 
V image connue T 2N>k+1 ; 

2* - determination des images *2Nk+N par ^esentrelacement de 
1' image connue T^,^, et conservation d'une ligne sur deux ; 
15 3* - determination des 2N-2 images restantes par interpolation 

temporelle compensee en mouvement a partir des images connues. 

2. Proc6de selon la revendication 1, caracterise en ce que 
le desentrelaceraent de 1' image connue T 2N , k+N' est realise * 
l'aide d'un filtre spat io- tempore 1. 

20 3. Procede selon la revendication 2, caracterise en ce que 

le filtre spatio-temporel est oriente selon le vecteur-mouvement 
associe au pixel traite. 

4. Procede selon l*une quelconque des revendications 1 a 3, 
caracterise en ce que le champs de vecteurs-mouvement des images 
*2N*k+N' est 1211 cIiamps d ® vecteurs par blocs de pxp pixels (p a 
1) estime symetriquement a partir des images conriues "^n'^+n'-i 

T 2N> k+N' +1 encadrant T 2 N' k+N ■ • 

5. Procede selon Tune quelconque des revendications 1 a 4, 

caracterise en ce que 1* interpolation compensee en mouvement des 
images t 2Nk+2 > t 2NR+3 , .... t 2Nk+N _ r t 2Nk+N+1> , .... *2Nk+2N est 
realisee par reassignation, a chaque bloc de pxp pixels (pal) 



30 



WO 93/00773 



PCF/FR92/00592 



30 



14 

d'une image a interpoler, du vecteur-mouvement associe au bloc de 
V image paire connue , T 2N'k+4 de coordoim ees spatiales 

voisines, le vecteur-mouvement presentant une amplitude £gale au 
rapport des distances inter-images considerees, et par 
affectation i chaque pixel d'une valeur de luminance obtenue par 
5 moyennage des valeurs de luminance des points des Images connues 

considdrees obtehus par interpolation symetrique compensee en 
mouvement. 

6. Procede selon la revendication 5, caracterise en ce que 
"•la reassignation d'un vecteur-mouvement a chaque bloc de pxp 

10 pixels (p^l) de l* image a interpoler est realisee en consider ant 

les vecteurs-mouvement des nxn (n^3) blocs de pxp pixels se 
trouvant dans le voisinage du pixel de 1' image paire connue 
T 2N'k+2 * T 2N'k+4 de coordonn ® es spatiales voisines de eel les du 
pixel de 1* image a interpoler et en choisissant parmi ces 

15 vecteurs-mouvement celui qui minimise la difference inter-images 

compensee en mouvement ou DFD entre les images connues 
considerees selon 1' image a interpoler. 

7. Procede selon la revendication 6, caracterise en ce que t 
pour le calcul de la valeur de luminance d'un pixel de 1* image a 

20 interpoler, on utilise tous les vecteurs-mouvement dont la DFD 

est voisine de la DFD minimale a un seuil pres. 

8. Procede selon la revendication 7, caracterise en ce que 
la valeur de luminance d'un pixel j d'une image tq a 
interpoler k partir d'une image connue paire Tq' de coordonnees 

25 spatiales voisines et des deux images impaires Tq'-l* et Tq' +1 

l'encadrant est obtenue par 1* equation suivante : 
1° - si 1' image tq se trouve entre les images Tq' - 1 et Tq' 



x i.j (tq) " X [ x iJ ( -^ x tV-i' * x u A Hr Tq,) ] 

m — - 

avec m ^ n x n et A etant fonction du rapport des distances 
inter-images ; 

2° - si r image tq se trouve entre les images Tq' et Tq f + 1 
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V tq? " ji X U ( - VuX X T ^ } » x ij (v u x T <+"] 

■ " : _ " ™ 5 ' r " . 

avec m 25 n x n et A f one t ion du rapport des distances inter- 
images. 

9. Procede selon la revendication 8, characterise en ce que 
la valeur de luminance d'un point (Vu, Tq* ) d'une J.mage 
connue Tq'-l/ Tq* , Tq*+1, ... est obtenue par interpolation 
bilineaire. 

10. Procede selon l*une quelconque des revendications 1 a 9, 
caract6ris§ en ce que les valeurs de chrominance des pixels des 
images successives correspondant a des instants t 0ktl „ , .... 
t 2Nk+2 sont obtenues en realisant une repetition des images 
sources connues de type AABB. 

11. Procede selon l'une quelconque des revendications 1 a 9, 
caracterise en ce que les valeurs de chrominance des pixels des 
images successives correspondant 4 des instants ^Nk+l* 
t 2Nk+2N sont calculees en utllisant le meme procede que le 
procede de calcul des valeurs de luminance. 

12. Procede selon la revendication 11, caracterise en ce que 
les valeurs de chrominance sont utilisees pour le calcul des DFD 
lors de la reassignation des vecteurs. 

13. Procede selon l'une quelconque des revendications 1 k 
11, caracterise en ce que, dans le cas d' images animees 
constituees par des images television de type HD-MAC, les images 
paires de la vole 80ms sont affectees d'un champs de vecteurs- 
mouvement nuls: 

14. Procede selon l'une quelconque des revendications 1 a 13, 
dans lequel on reconstruit a partir de trames T^, T 2 ' T 3 ; T 3 , T^, 
Tgj ... transmises a une f requence-trame de 50Hz quatre trames 

3q t 1§ t 2 , t 3 , t 4 ; t g , t^, t ? , t g , ... k une frequence- trame de 

100Hz, caracteris§ en ce que l'on realise les operations 
suivantes : 

!• - determination des images t Jt tg,..., t 4N+1 a generer par 



20 
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recopie des images T^, ^2N+1 * 

2* - determination des images tg> t ?f .... par desentrelacement 

de 1* image connue T^, T 4> et conservation d'une ligne sur 

deux ; 

3° - determination des images restantes telles que t^, t^, t^ par 
5 interpolation temporelle compensee en mouvement. 
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